Với thất bại tại trận Điện Biên Phủ, người Pháp phải chuẩn bị rút khỏi Việt Nam. Tân thủ tướng Ngô Đình Diệm, với mục tiêu loại trừ thế lực thân Pháp, đã tìm cách chiêu mộ ông về hợp tác. Ngày 1 tháng 4 năm 1955, ông được đồng hóa cấp bậc Thiếu tướng Quân đội Quốc gia Việt Nam và được giữ chức vụ Quốc vụ khanh kiêm Ủy viên Hội đồng Quốc phòng trong Nội các của Chính phủ Ngô Đình Diệm thay thế Trung tướng Hòa Hảo Trần Văn Soái. Trước hành động này của ông, Hộ pháp Phạm Công Tắc đe dọa sẽ ra lệnh giải tán Quân đội Cao Đài để tước trừ quyền lực của các chỉ huy. Ngày 31 tháng 11 năm 1955, ông từ nhiệm chức vụ Quốc vụ khanh và Ủy viên Quốc phòng. Thượng tuần tháng 12 cùng năm, ông đưa 8.000 binh sĩ dưới quyền làm lễ quy thuận Chính phủ Ngô Đình Diệm. Đổi lại, ông được Thủ tướng Diệm đồng hóa cho ông cấp Trung tướng thuộc Quân đội Quốc gia.

Với sự ủng hộ của ông, và sau đó là tướng Trình Minh Thế, Thủ tướng Diệm đã rảnh tay để cô lập và tiêu diệt các lực lượng giáo phái, quân phiệt cát cứ còn lại như Bình Xuyên, Hòa Hảo. Sau khi 2 thế lực trên hầu như không còn thế lực đủ để đe dọa địa vị của Thủ tướng Diệm, ngày 5 tháng 10 năm 1955, ông được Thủ tướng Diệm ra lệnh đưa các binh sĩ thuộc quyền tiến vào Tòa Thánh Tây Ninh gây áp lực với Hộ pháp Phạm Công Tắc. Bất lực trước thời cuộc, Hộ pháp Phạm Công Tắc đành đào vong sang Campuchia và sống tại đây cho đế tận cuối đời.

Sau khi Hộ pháp Phạm Công Tắc phải lưu vong, Thủ tướng Diệm đã cho thực hiện cuộc Trưng cầu dân ý và trở thành Tổng thống. Tháng 11 năm 1955, tân Tổng thống ra lệnh khởi tố ông trong bản án gây tranh cãi về tội "tàng trữ xe hơi", sa thải ông khỏi các chức vụ trong quân đội và chính quyền, đồng thời tịch thu tài sản. Từ đó ông có thái độ bất mãn, nhưng do sự kiểm soát quá chặt chẽ, nên hầu như không thể làm được gì.